Ruffalo sinh ra ở Kenosha, Wisconsin. Mẹ ông, Marie Rose (nhũ danh Hebert), là một thợ và làm tóc và stylist, và cha của ông, Frank Lawrence Ruffalo, Jr., là một họa sĩ xây dựng[2][3][4] Anh có hai em gái, Tania và Nicole, và một em trai, Scott (qua đời năm 2008).[2] Cha anh là người Mỹ gốc Ý, còn mẹ anh nửa dòng máu Canada gốc Pháp và nửa gốc Ý.[5][6]

Ruffalo trải qua thời thiếu niên ở Virginia Beach, Virginia, nơi cha của cậu làm việc. Cậu đã thi đấu vật ở trường cấp hai và cấp ba ở Wisconsin và Virginia. Ruffalo tốt nghiệp Trường trung học First Colonial,[2] và sau đó gia đình chuyển đến San Diego, California, và sau đó đến Los Angeles, nơi cậu học ở Nhạc viện Stella Adler và đồng sáng lập Công ty sân khấu Orpheus.[2] Với Công ty sân khấu Orpheus, anh viết kịch bản, đọa diễn và đóng trong một số kịch, và trải qua gần một thập kỷ làm bartender.[7]